AI023
Pengantar Pemrograman Triton
Reduksi, Softmax, dan Stabilitas Numerik
Tujuan Pembelajaran
- Melakukan dan menafsirkan operasi reduksi pada tensor multi-dimensi.
- Membentuk fungsi Softmax untuk mengubah logit menjadi distribusi probabilitas.
- Mendiagnosis masalah stabilitas numerik umum seperti overflows dan underflows titik mengambang.
- Menerapkan Softmax yang stabil secara numerik menggunakan pergeseran konstan dan trik Log-Sum-Exp.